Josh Groban sinh tại Los Angeles, California trong một gia đình viên chức yêu nghệ thuật. Bố anh, ông Jack Groban là người Mỹ gốc Do Thái có tổ tiên là những người Nga lai Ba Lan di cư. Mẹ anh, Lindy Groban là người gốc Na Uy. Tổ tiên bà đến từ Toten, một quận phía Đông Na Uy. Bố của Josh Groban đã cải đạo sang Thiên Chúa giáo khi ông cưới bà Lindy. Josh có một em trai, Chris kém anh bốn tuổi và họ có chung ngày sinh nhật.

Mặc dù bố mẹ Groban không phải là nghệ sĩ nhưng họ đều là những người yêu nghệ thuật. Bố anh từng chơi kèn trompet khi ông còn là sinh viên đại học. Lúc nhỏ, cậu nhóc Groban thường dùng xoong chảo làm nhạc cụ và chỉ đến năm học lớp năm, Josh mới trình diễn trước đám đông. Đó là trong một buổi diễn văn nghệ ở trường. Josh kể lại rằng khi mẹ anh lần đầu nghe anh hát, bà đã không tin đó là con trai mình, sau đó bà đã bật khóc. Tuy nhiên, Josh vẫn phải tập trung cho việc học. "Tôi thích thú mọi khía cạnh của nghệ thuật, nhưng kết quả học tập của tôi đã tồi tệ đi...Vì vậy tôi đến học ở Trường Bridge để nâng các con điểm lên thành A". Thời gian ở trường Bridge, Groban tham gia các lớp học bình thường từ 9 giờ sáng đến 1 giờ chiều, sau đó tham gia các lớp học kịch. Trong hai năm 1997 và 1998, Groban tham gia trại hè Nghệ thuật ở Michigan, nơi cậu tập nhạc kịch với các bạn, cũng là lúc Josh bắt đầu học các bài luyện thanh. "Tôi tập nhạc kịch khá nhiều. Tôi có một giọng nam trung khá, vì thế tôi bắt đầu diễn kịch và hát trong các vở kịch ở trường". Josh cho biết.

Bước ngoặt lớn nhất đã làm thay đổi cuộc sống của Groban là vào cuối năm 1998, khi anh được giới thiệu với nhạc sĩ, nhà sản xuất âm nhạc lừng danh David Foster người đã góp phần tạo nên thành công của những nghệ sĩ như Celine Dion, The Corrs, Brian Mc Knight... David Foster, sau khi nghe bản thu âm của Josh mà thầy giáo luyện thanh của cậu gửi tới đã quyết định mời cậu thiếu niên 17 tuổi tới hát tại buổi hòa nhạc chào mừng lễ nhận chức của thống đốc bang California bấy giờ là Gray Davis. Sau đó, Josh lại được David mời đến hát trong buổi diễn tập trước lễ trao giải Grammy 1999 thay thế vai trò của giọng Tenor lừng danh Andrea Bocelli. Josh, ban đầu từ chối vì sợ không đảm nhiệm nổi, nhưng David Foster đã khích lệ cậu. Cuối cùng, Groban đã cùng hát với Celine Dion ca khúc The Prayer của Foster trong buổi diễn tập đó. Sau này, cả Celine Dion và Groban đã nhiều lần nhắc lại kỉ niệm đó, với hình ảnh cậu bé tóc xoăn "trông như mới 12 tuổi" đứng run rẩy trong đám đông hơn 50 nghệ sĩ lừng danh của nước Mỹ và cất giọng baritone trời phú của mình làm mọi người đều kinh ngạc.

Sau khi tốt nghiệp Trường Trung học Nghệ thuật hạt Los Angeles năm 1999, Groban vào học Đại học Carnegie Mellon ở Pittsburgh, Pennsylvania, ngành Kịch. Tuy nhiên, anh đã bỏ dở việc học ngay từ học kỳ đầu tiên khi nhận được bản hợp đồng thu âm từ hãng Warner Bros. Records, dưới tác động của David Foster.